<!DOCTYPE html><html lang="zh-CN" data-theme="light"><head><meta charset="UTF-8"><meta http-equiv="X-UA-Compatible" content="IE=edge"><meta name="viewport" content="width=device-width,initial-scale=1"><title>基于Java语言的excel文件合成操作 | 小谭的部落阁</title><meta name="keywords" content="excel,文件操作,数据合并,R语言"><meta name="author" content="谭自财"><meta name="copyright" content="谭自财"><meta name="format-detection" content="telephone=no"><meta name="theme-color" content="#ffffff"><meta name="description" content="Java 嵌入 SPL 轻松实现 Excel 文件合并  转载自Smile转载源地址：    https:&#x2F;&#x2F;zhuanlan.zhihu.com&#x2F;p&#x2F;54543045Smile  大多数JAVA程序猿都选择使用POI或者HSSFWorkbook等第三方类库来实现Excel自动化合并，这样一来不仅需要噼里啪啦的敲好多代码，费事费力，而且用起来灵活度也不高，对Excel的格式要求也很严格。如果能有一">
<meta property="og:type" content="article">
<meta property="og:title" content="基于Java语言的excel文件合成操作">
<meta property="og:url" content="https://tanzicai.gitee.io/2021/07/28/%E5%9F%BA%E4%BA%8EJava%E8%BF%9B%E8%A1%8Cexcel%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86/index.html">
<meta property="og:site_name" content="小谭的部落阁">
<meta property="og:description" content="Java 嵌入 SPL 轻松实现 Excel 文件合并  转载自Smile转载源地址：    https:&#x2F;&#x2F;zhuanlan.zhihu.com&#x2F;p&#x2F;54543045Smile  大多数JAVA程序猿都选择使用POI或者HSSFWorkbook等第三方类库来实现Excel自动化合并，这样一来不仅需要噼里啪啦的敲好多代码，费事费力，而且用起来灵活度也不高，对Excel的格式要求也很严格。如果能有一">
<meta property="og:locale" content="zh_CN">
<meta property="og:image" content="https://tanzicai.gitee.io/img/ERTH.png">
<meta property="article:published_time" content="2021-07-28T08:06:49.939Z">
<meta property="article:modified_time" content="2021-07-11T09:06:40.000Z">
<meta property="article:author" content="谭自财">
<meta property="article:tag" content="excel">
<meta property="article:tag" content="文件操作">
<meta property="article:tag" content="数据合并">
<meta property="article:tag" content="R语言">
<meta name="twitter:card" content="summary">
<meta name="twitter:image" content="https://tanzicai.gitee.io/img/ERTH.png"><link rel="shortcut icon" href="/img/favicon.png"><link rel="canonical" href="https://tanzicai.gitee.io/2021/07/28/%E5%9F%BA%E4%BA%8EJava%E8%BF%9B%E8%A1%8Cexcel%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86/"><link rel="preconnect" href="//cdn.jsdelivr.net"/><link rel="preconnect" href="//busuanzi.ibruce.info"/><meta/><link rel="stylesheet" href="/css/index.css"><link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/@fortawesome/fontawesome-free/css/all.min.css" media="print" onload="this.media='all'"><script>const GLOBAL_CONFIG = { 
  root: '/',
  algolia: undefined,
  localSearch: undefined,
  translate: {"defaultEncoding":2,"translateDelay":0,"msgToTraditionalChinese":"繁","msgToSimplifiedChinese":"简"},
  noticeOutdate: undefined,
  highlight: {"plugin":"highlighjs","highlightCopy":true,"highlightLang":true,"highlightHeightLimit":false},
  copy: {
    success: '复制成功',
    error: '复制错误',
    noSupport: '浏览器不支持'
  },
  relativeDate: {
    homepage: false,
    post: false
  },
  runtime: '天',
  date_suffix: {
    just: '刚刚',
    min: '分钟前',
    hour: '小时前',
    day: '天前',
    month: '个月前'
  },
  copyright: undefined,
  lightbox: 'fancybox',
  Snackbar: undefined,
  source: {
    jQuery: 'https://cdn.jsdelivr.net/npm/jquery@latest/dist/jquery.min.js',
    justifiedGallery: {
      js: 'https://cdn.jsdelivr.net/npm/justifiedGallery/dist/js/jquery.justifiedGallery.min.js',
      css: 'https://cdn.jsdelivr.net/npm/justifiedGallery/dist/css/justifiedGallery.min.css'
    },
    fancybox: {
      js: 'https://cdn.jsdelivr.net/npm/@fancyapps/fancybox@latest/dist/jquery.fancybox.min.js',
      css: 'https://cdn.jsdelivr.net/npm/@fancyapps/fancybox@latest/dist/jquery.fancybox.min.css'
    }
  },
  isPhotoFigcaption: false,
  islazyload: false,
  isanchor: false
}</script><script id="config-diff">var GLOBAL_CONFIG_SITE = {
  title: '基于Java语言的excel文件合成操作',
  isPost: true,
  isHome: false,
  isHighlightShrink: false,
  isToc: true,
  postUpdate: '2021-07-11 17:06:40'
}</script><noscript><style type="text/css">
  #nav {
    opacity: 1
  }
  .justified-gallery img {
    opacity: 1
  }

  #recent-posts time,
  #post-meta time {
    display: inline !important
  }
</style></noscript><script>(win=>{
    win.saveToLocal = {
      set: function setWithExpiry(key, value, ttl) {
        if (ttl === 0) return
        const now = new Date()
        const expiryDay = ttl * 86400000
        const item = {
          value: value,
          expiry: now.getTime() + expiryDay,
        }
        localStorage.setItem(key, JSON.stringify(item))
      },

      get: function getWithExpiry(key) {
        const itemStr = localStorage.getItem(key)

        if (!itemStr) {
          return undefined
        }
        const item = JSON.parse(itemStr)
        const now = new Date()

        if (now.getTime() > item.expiry) {
          localStorage.removeItem(key)
          return undefined
        }
        return item.value
      }
    }
  
    win.getScript = url => new Promise((resolve, reject) => {
      const script = document.createElement('script')
      script.src = url
      script.async = true
      script.onerror = reject
      script.onload = script.onreadystatechange = function() {
        const loadState = this.readyState
        if (loadState && loadState !== 'loaded' && loadState !== 'complete') return
        script.onload = script.onreadystatechange = null
        resolve()
      }
      document.head.appendChild(script)
    })
  
      win.activateDarkMode = function () {
        document.documentElement.setAttribute('data-theme', 'dark')
        if (document.querySelector('meta[name="theme-color"]') !== null) {
          document.querySelector('meta[name="theme-color"]').setAttribute('content', '#0d0d0d')
        }
      }
      win.activateLightMode = function () {
        document.documentElement.setAttribute('data-theme', 'light')
        if (document.querySelector('meta[name="theme-color"]') !== null) {
          document.querySelector('meta[name="theme-color"]').setAttribute('content', '#ffffff')
        }
      }
      const t = saveToLocal.get('theme')
    
          if (t === 'dark') activateDarkMode()
          else if (t === 'light') activateLightMode()
        
      const asideStatus = saveToLocal.get('aside-status')
      if (asideStatus !== undefined) {
        if (asideStatus === 'hide') {
          document.documentElement.classList.add('hide-aside')
        } else {
          document.documentElement.classList.remove('hide-aside')
        }
      }
    
    const fontSizeVal = saveToLocal.get('global-font-size')
    if (fontSizeVal !== undefined) {
      document.documentElement.style.setProperty('--global-font-size', fontSizeVal + 'px')
    }
    })(window)</script><meta name="generator" content="Hexo 5.4.0"><link rel="alternate" href="/atom.xml" title="小谭的部落阁" type="application/atom+xml">
</head><body><div id="loading-box"><div class="loading-left-bg"></div><div class="loading-right-bg"></div><div class="spinner-box"><div class="configure-border-1"><div class="configure-core"></div></div><div class="configure-border-2"><div class="configure-core"></div></div><div class="loading-word">加载中...</div></div></div><div id="sidebar"><div id="menu-mask"></div><div id="sidebar-menus"><div class="author-avatar"><img class="avatar-img" src="https://gitee.com/tanzicai/drawingbed/raw/master/img/20210609205810.png" onerror="onerror=null;src='/img/friend_404.gif'" alt="avatar"/></div><div class="site-data"><div class="data-item is-center"><div class="data-item-link"><a href="/archives/"><div class="headline">文章</div><div class="length-num">35</div></a></div></div><div class="data-item is-center"><div class="data-item-link"><a href="/tags/"><div class="headline">标签</div><div class="length-num">50</div></a></div></div><div class="data-item is-center"><div class="data-item-link"><a href="/categories/"><div class="headline">分类</div><div class="length-num">12</div></a></div></div></div><hr/><div class="menus_items"><div class="menus_item"><a class="site-page" href="/"><i class="fa-fw fas fa-home"></i><span> 首页</span></a></div><div class="menus_item"><a class="site-page" href="/archives/"><i class="fa-fw fas fa-archive"></i><span> 时间轴</span></a></div><div class="menus_item"><a class="site-page" href="/tags/"><i class="fa-fw fas fa-tags"></i><span> 标籤</span></a></div><div class="menus_item"><a class="site-page" href="/category/"><i class="fa-fw fas fa-folder-open"></i><span> 分类</span></a></div><div class="menus_item"><a class="site-page" href="/fridends/"><i class="fa-fw fa fa-heartbeat"></i><span> 朋友圈</span></a></div><div class="menus_item"><a class="site-page" href="/link/"><i class="fa-fw fas fa-link"></i><span> 友链</span></a></div><div class="menus_item"><a class="site-page" href="/download/"><i class="fa-fw fas fa--cloud-download"></i><span> 下载</span></a></div><div class="menus_item"><a class="site-page" href="/about/"><i class="fa-fw fas fa-hear"></i><span> 关于</span></a></div></div></div></div><div class="post" id="body-wrap"><header class="post-bg" id="page-header" style="background-image: url('/img/ERTH.png')"><nav id="nav"><span id="blog_name"><a id="site-name" href="/">小谭的部落阁</a></span><div id="menus"><div class="menus_items"><div class="menus_item"><a class="site-page" href="/"><i class="fa-fw fas fa-home"></i><span> 首页</span></a></div><div class="menus_item"><a class="site-page" href="/archives/"><i class="fa-fw fas fa-archive"></i><span> 时间轴</span></a></div><div class="menus_item"><a class="site-page" href="/tags/"><i class="fa-fw fas fa-tags"></i><span> 标籤</span></a></div><div class="menus_item"><a class="site-page" href="/category/"><i class="fa-fw fas fa-folder-open"></i><span> 分类</span></a></div><div class="menus_item"><a class="site-page" href="/fridends/"><i class="fa-fw fa fa-heartbeat"></i><span> 朋友圈</span></a></div><div class="menus_item"><a class="site-page" href="/link/"><i class="fa-fw fas fa-link"></i><span> 友链</span></a></div><div class="menus_item"><a class="site-page" href="/download/"><i class="fa-fw fas fa--cloud-download"></i><span> 下载</span></a></div><div class="menus_item"><a class="site-page" href="/about/"><i class="fa-fw fas fa-hear"></i><span> 关于</span></a></div></div><div id="toggle-menu"><a class="site-page"><i class="fas fa-bars fa-fw"></i></a></div></div></nav><div id="post-info"><h1 class="post-title">基于Java语言的excel文件合成操作</h1><div id="post-meta"><div class="meta-firstline"><span class="post-meta-date"><i class="far fa-calendar-alt fa-fw post-meta-icon"></i><span class="post-meta-label">发表于</span><time class="post-meta-date-created" datetime="2021-07-28T08:06:49.939Z" title="发表于 2021-07-28 16:06:49">2021-07-28</time><span class="post-meta-separator">|</span><i class="fas fa-history fa-fw post-meta-icon"></i><span class="post-meta-label">更新于</span><time class="post-meta-date-updated" datetime="2021-07-11T09:06:40.000Z" title="更新于 2021-07-11 17:06:40">2021-07-11</time></span><span class="post-meta-categories"><span class="post-meta-separator">|</span><i class="fas fa-inbox fa-fw post-meta-icon"></i><a class="post-meta-categories" href="/categories/excel%E6%93%8D%E4%BD%9C/">excel操作</a></span></div><div class="meta-secondline"><span class="post-meta-separator">|</span><span class="post-meta-pv-cv" id="" data-flag-title="基于Java语言的excel文件合成操作"><i class="far fa-eye fa-fw post-meta-icon"></i><span class="post-meta-label">阅读量:</span><span id="busuanzi_value_page_pv"></span></span></div></div></div></header><main class="layout" id="content-inner"><div id="post"><article class="post-content" id="article-container"><h1 id="Java-嵌入-SPL-轻松实现-Excel-文件合并"><a href="#Java-嵌入-SPL-轻松实现-Excel-文件合并" class="headerlink" title="Java 嵌入 SPL 轻松实现 Excel 文件合并"></a>Java 嵌入 SPL 轻松实现 Excel 文件合并</h1><blockquote>
<p> 转载自Smile<br>转载源地址：    <a target="_blank" rel="noopener" href="https://zhuanlan.zhihu.com/p/54543045">https://zhuanlan.zhihu.com/p/54543045</a><br><a target="_blank" rel="noopener" href="https://www.zhihu.com/people/smile-33-15">Smile</a><br><a target="_blank" rel="noopener" href="https://www.zhihu.com/people/smile-33-15"><img src="https://gitee.com/tanzicai/drawingbed/raw/master/img/v2-37059d62de382089f3a44ece6df70031_b.jpg" alt="Smile"></a></p>
</blockquote>
<p>大多数JAVA程序猿都选择使用POI或者HSSFWorkbook等第三方类库来实现Excel自动化合并，这样一来不仅需要噼里啪啦的敲好多代码，费事费力，而且用起来灵活度也不高，对Excel的格式要求也很严格。如果能有一个专用的外部数据工具，写简单类似SQL的脚本来实现，然后在JAVA中直接调用并返回结果集，就再好不过了。润乾集算器就是这样的机制，通过使用JDBC调用SPL脚本，使用起来方便快捷，下面就来学习下具体如何使用。</p>
<h2 id="SPL实现"><a href="#SPL实现" class="headerlink" title="SPL实现"></a>SPL实现</h2><p><strong>常规合并：</strong></p>
<p>A. 同一个 excel 中的多个Sheet表合并</p>
<p>下面的例子是一个包含了销售数据的 excel 文件，其中包含了按月划分的 3 个结构相同的 sheet 工作表，数据如下：</p>
<p>January_2013:</p>
<p><img src="https://gitee.com/tanzicai/drawingbed/raw/master/img/v2-37059d62de382089f3a44ece6df70031_b.jpg" alt="img"></p>
<p>February_2013:</p>
<p><img src="https://gitee.com/tanzicai/drawingbed/raw/master/img/v2-37059d62de382089f3a44ece6df70031_b.jpg" alt="img"></p>
<p>March_2013:</p>
<p><img src="https://gitee.com/tanzicai/drawingbed/raw/master/img/v2-37059d62de382089f3a44ece6df70031_b.jpg" alt="img"></p>
<p>在合并3个Sheet的同时，我们还可以同时从每个sheet中筛选出字段Customer Name, Sale Amount。最后的效果如下：</p>
<p><img src="https://gitee.com/tanzicai/drawingbed/raw/master/img/v2-37059d62de382089f3a44ece6df70031_b.jpg" alt="img"></p>
<p><strong>SPL</strong> <strong>脚本：</strong></p>
<p><img src="https://gitee.com/tanzicai/drawingbed/raw/master/img/v2-37059d62de382089f3a44ece6df70031_b.jpg" alt="img"></p>
<p>保存脚本文件<strong>oneExcel.dfx</strong>(嵌入Java会用到)</p>
<p>脚本说明：</p>
<p><strong>A1</strong>: 打开指定的 excel 文件，创建一个由多个 sheet 工作表组成的序列。</p>
<p><strong>A2</strong>：利用 conj 函数遍历 A1 序列中所有的成员工作表，导入每个工作表中指定列’Customer Name’,’Sale Amount’，并将数据并合并。其中 xlsimport 函数导入指定列，最后一列用分号; 隔开。 参数~.stname表示指定当前工作表，由于在 conj 函数的循环中，所以就可以逐个导入所有工作表。同时，xlsimport 使用选项@t指明将工作表的第一行记录作为字段名。</p>
<p><strong>A3:</strong> 将序表 A2 作为一个新的工作表“merge_sheets”保存到原来的 excel 文件中，同样用选项 @t 指明首行记录为标题。</p>
<p>这段脚本只有三句话，短小精干之余，逻辑清晰，也比较容易理解。下面我们再看看如何合并多个文件中的多个工作表。</p>
<p>B. 不同 excel 中的多表合并</p>
<p>下面是要合并的多个 excel 文件，它们都具有和上面例子相同的表结构，每个文件记录了当年的数据<strong>：</strong><br><strong>SPL</strong> <strong>脚本：</strong></p>
<p><img src="https://gitee.com/tanzicai/drawingbed/raw/master/img/20210606213128.jpeg" alt="img"></p>
<p><strong>合并后的结果如下：</strong></p>
<p><img src="https://gitee.com/tanzicai/drawingbed/raw/master/img/20210606213128.jpeg" alt="img"></p>
<p>保存脚本文件<strong>MergeExcels.dfx</strong>(嵌入Java会用到)</p>
<p>脚本说明：</p>
<p><strong>A1</strong>: 通过 for 循环，遍历指定目录下的 excel 文件，在 B1 到 B3 之间进行循环内处理。</p>
<p><strong>B1</strong>：打开目录下的一个 excel 文件，生成序列。</p>
<p><strong>B2</strong>：导入当前文件中的每个 sheet 工作表中指定列’Customer Name’,’Sale Amount’，’Purchase Date’的数据，然后合并这些数据，与前面例子中的 A2 类似。</p>
<p><strong>B3</strong>：将序表 B2 的数据与 @表示的本网格的值进行合并。</p>
<p><strong>A4</strong>：将序表 B3 保存到result.xlsx文件中的 merge_data 工作表中。</p>
<p>上面程序用两个循环就实现了多个 excel 文件数据合并，外循环 for 遍历了目录下所有的 excel 文件，内循环B1.conj则合并每个excel文件中的多个sheet工作表的数据。</p>
<p>C. 合并出大文件</p>
<p>前面第一个例子中的 A2、第二个例子中的 B3 都是在内存中装载了合并后的 Excel 的所有数据，然后一次性写出。如果文件太多太大，那么对内存的占用也会很大，甚至超出内存允许的范围。为此，我们可以在SPL脚本中采用流式追加的方式生成大文件。</p>
<p><strong>SPL脚本：</strong></p>
<p><img src="https://gitee.com/tanzicai/drawingbed/raw/master/img/20210606213128.jpeg" alt="img"></p>
<p><strong>合并后的效果如下：</strong></p>
<p><img src="https://gitee.com/tanzicai/drawingbed/raw/master/img/20210606213128.jpeg" alt="img"></p>
<p>保存脚本文件<strong>BigExcel.dfx</strong>(嵌入Java会用到)</p>
<p>脚本说明：</p>
<p><strong>A1</strong>：打开指定输出的文件。</p>
<p>A2：遍历目录下需要合并的 excel 文件。</p>
<p>B2：打开一个需要合并的 excel 文件。</p>
<p>B3：如果输出文件不存在，读取 sheet 工作表的所有数据，包括标题行；如果输出文件已经有了，就通过 @t 选项指明第一行是标题，从第二行开始读取数据。</p>
<p>B4：将 B3 读取的数据以流式追加到 A1 指定的输出文件的 merger 工作表中。</p>
<p>通过流式逐个读取文件数据后追加写入，这个方式适合将大量小的 excel 文件合并成一个大的 excel 文件。</p>
<h2 id="JAVA调用"><a href="#JAVA调用" class="headerlink" title="JAVA调用"></a>JAVA调用</h2><p>SPL嵌入到Java应用程序十分方便，通过JDBC调用存储过程方法加载，用<strong>同一个excel中的多个Sheet表合并</strong>保存的文件OneExcel.dfx，示例调用如下：</p>
<figure class="highlight plaintext"><table><tr><td class="code"><pre><span class="line">...</span><br><span class="line">Connection con = null;</span><br><span class="line">Class.forName(&quot;com.esproc.jdbc.InternalDriver&quot;);</span><br><span class="line">con= DriverManager.getConnection(&quot;jdbc:esproc:local://&quot;);//调用存储过程，其中OneExcel是dfx的文件名</span><br><span class="line">st =(com. esproc.jdbc.InternalCStatement)con.prepareCall(&quot;call OneExcel()&quot;);//执行存储过程</span><br><span class="line">st.execute();//获取结果集</span><br><span class="line">ResultSet rs = st.getResultSet();</span><br><span class="line">...</span><br></pre></td></tr></table></figure>

<p>替换成MergeExcels.dfx/BigExcel.dfx是同样的道理，只需call MergeExcels()或者call BigExcel()即可。这里只用 Java 片段粗略解释了如何嵌入 SPL，详细步骤请参阅<a href="https://link.zhihu.com/?target=http://c.raqsoft.com.cn/article/1543657951867">Java 如何调用 SPL 脚本</a>，也非常简单，不再赘述。同时，SPL 也支持 ODBC 驱动，集成到支持 ODBC 的语言，嵌入过程类似。</p>
<h2 id="拓展节选"><a href="#拓展节选" class="headerlink" title="拓展节选"></a>拓展节选</h2><p>关于Excel文件的处理除了像上面讲的普通合并外，还可以在SPL脚本中对汇总后的结果分组去重，然后再将结果集导出。</p>
<p><strong>分组汇总</strong></p>
<p>下面继续以前面的销售数据 excel 文件为例。</p>
<p><strong>A. 字段分组</strong></p>
<p>根据某个字段或多个字段实现分组计算，SPL 脚本如下：</p>
<p><img src="https://gitee.com/tanzicai/drawingbed/raw/master/img/20210606213128.jpeg" alt="img"></p>
<p>A3<strong>的效果：</strong></p>
<p><img src="https://gitee.com/tanzicai/drawingbed/raw/master/img/20210606213128.jpeg" alt="img"></p>
<p>A4<strong>的效果：</strong></p>
<p><img src="https://pic3.zhimg.com/v2-4f5beaedb6f770834652a817aa2a5c42_b.jpg" alt="img"></p>
<p>脚本说明：</p>
<p><strong>A1</strong>: 打开指定的 excel 文件。</p>
<p><strong>A2</strong>：读取并合并文件中所有 sheet 工作表的数据。</p>
<p><strong>A3</strong>：在合并后的数据上按字段 ‘Customer ID’ 分组求销售额、平均值。</p>
<p><strong>A4</strong>：在合并后的数据上按字段 ‘Customer ID’, ‘Purchase Date’ 分组求销售额。</p>
<p><strong>B. 按序分组</strong></p>
<p>集算器在进行分组聚合时还可以和相邻数据行对比，在原数据已经有序时可以不再排序，从而节省时间，并保持原有的次序。假设原数据已经按日期排序，我们想按月份分组统计时，代码如下。</p>
<p>SPL 脚本：</p>
<p><img src="https://pic4.zhimg.com/v2-dce5b7982afd2c1a55476b052d074d53_b.jpg" alt="img"></p>
<p>A5 分组效果：</p>
<p><img src="https://pic3.zhimg.com/v2-941bcfe40d33bbf5dd13269be5f16e62_b.jpg" alt="img"></p>
<p>A6 分组效果：</p>
<p><img src="https://pic4.zhimg.com/v2-0ae7a1596e286167ebd1de07a6ee4d17_b.jpg" alt="img"></p>
<p>脚本说明：</p>
<p><strong>A1至B3</strong>: 在前面的例子中已经介绍，将同一目录下所有相同结构的 excel 文件的工作表进行合并。</p>
<p><strong>A4</strong>：在序表 B3 的基本上重新构造了一个序表 A4，将日期拆分，新增年、月字段。</p>
<p><strong>A5</strong>：groups 跨年度按月分组汇总销售额、平均值。</p>
<p><strong>A6</strong>：groups@o 按年月分组汇总销售额、平均值, 带参数 @o 实现分组归并处理。</p>
<p>其中，A4 为数据记录明细；A5 按月统计, 不区分年；A6 则按年月统计。这三个单元格中的数据展现出了不同层次的合并汇总结果。</p>
<p><strong>C. 分段分组</strong></p>
<p>将要统计的数据按条件分成几段，统计各组的情况。</p>
<p>SPL 脚本：</p>
<p><img src="https://pic2.zhimg.com/v2-0516d7dbd089cb79d6863a97acce9c65_b.jpg" alt="img"></p>
<p>分组效果：</p>
<p><img src="https://pic2.zhimg.com/v2-89d65d7b984a087b4809c4bc1407bb51_b.jpg" alt="img"></p>
<p>代码说明：</p>
<p>步骤A1到 B3 之间参考前面例子的说明。</p>
<p>A4：字段’Sale Amount’金额的范围分成 5 段，然后累计求出各段的数量及总数。</p>
<p>不过，这样的写法不够方便，如果我们想调整分段方案，就需要修改 groups 函数的参数，而这个参数表达式还是比较复杂的。这时，我们还可以利用集算器中另一个 pseg 函数，更方便地实现这个功能，脚本如下：</p>
<p><img src="https://pic4.zhimg.com/v2-2b00295ec76d17201f06d2178bae289f_b.jpg" alt="img"></p>
<p>当然，我们也可以根据需要，按不同字段不同要求进行分组，然后进行统计处理。例如，在统计班级考生成绩时，各科成绩可划分成优、良、中、差、及格的分数区段，一次为条件进行统计。groups 用法还有很多，可以参考函数手册中相应的章节。</p>
<p><strong>D. 大数据分组</strong></p>
<p>前面的例子中，要读取的 excel 文件都不能很大，也就是都能一次读进内存。手工处理大文件，也会有类似的要求，因为同时打开多个文件，意味着把这些文件都装入内存，很可能会超过机器的物理内存，而用 VBA 读取的情况也差不多。这时，我们就需要用流式的方法读取数据，不需一次读进内存，而是边读取边合并。</p>
<p>SPL 脚本：</p>
<p><img src="https://pic4.zhimg.com/v2-b361134dc23cfb68770d765393ee2d33_b.jpg" alt="img"></p>
<p>筛选分组的效果：</p>
<p><img src="https://pic3.zhimg.com/v2-8b5a294c8c4e78b1284a1eb34533e426_b.jpg" alt="img"></p>
<p>代码说明：</p>
<p><strong>A1</strong>: 使用 @r 选项指明以流式打开 excel 文件。</p>
<p><strong>A2</strong>：遍历 excel 中的 sheet 工作表。</p>
<p><strong>B2</strong>：使用 @c 选项指明以游标方式导入数据。</p>
<p><strong>B3</strong>：将游标B2汇集到B3序列中。</p>
<p><strong>A4</strong>：将游标序列B3的成员合并到一起组成新的游标。</p>
<p>B4：序列A4按‘Customer ID’分组累计‘Sale Amount’。</p>
<p>A5：将结果保存。</p>
<p>通过游标以流的方式循环从大文件中读取一段段数据，实现对数据的分组合并。</p>
<p><strong>去重处理</strong></p>
<p>实际数据合并过程中，往往会出现数据重复的现象，重复数据肯定会影响到我们对数据的计算分析。下面介绍使用集算器 SPL 脚本去除重复数据的几种主要解决方法。</p>
<p><strong>A. 主键去重</strong></p>
<p>sales_2013中的数据，设其主键为’Invoice Number’，则根据主键去掉重复记录。</p>
<p><img src="https://pic3.zhimg.com/v2-d512d7d6c2cede80618898f6a563884a_b.jpg" alt="img"></p>
<p>合并去重后的数据：</p>
<p><img src="https://pic4.zhimg.com/v2-ab3528f4e01da1c4c58225b4d7fae2ff_b.jpg" alt="img"></p>
<p>代码说明：</p>
<p><strong>A1</strong>: 打开指定的 excel 文件。</p>
<p>A2：导入 sheet 工作表中指定列的数据。</p>
<p>A3：将序表 A2 按主键’Invoice Number’分组去重处理, 其中参数 @1 表示取每一个分组的第一条记录组成排列后返回（注意是数字 1，不是字母 l）。</p>
<p>A4：将结果保存。</p>
<p>各个 sheet&gt; 中的数据是唯一的，但合并的数据不一定是唯一的，因此采用主键方式去掉重复数据。</p>
<p><strong>B. 某字段去重</strong></p>
<p>根据数据表 sales_2013 中的某字段去重处理, 查看不同姓名的雇员记录.</p>
<p><img src="https://pic2.zhimg.com/v2-bc6911160e504046d24e5bd641554f41_b.jpg" alt="img"></p>
<p>代码说明：</p>
<p><strong>A1</strong>: 打开指定的 excel 文件。</p>
<p>A2：导入 sheet 工作表中指定列的数据。</p>
<p>A3：从序表 A2 中获取不重复姓名的记录。</p>
<p>A4：从序表 A2中获取不重复姓名的记录列表。</p>
<p>A5：将序表 A4 另存，首行记录为标题。</p>
<p>A3 数据去重结果：</p>
<p><img src="https://gitee.com/tanzicai/drawingbed/raw/master/img/v2-bea0209ec28b15a8c575262910e3d07e_b.jpg" alt="img"></p>
<p>A4 数据去重结果：</p>
<p><img src="https://gitee.com/tanzicai/drawingbed/raw/master/img/v2-bea0209ec28b15a8c575262910e3d07e_b.jpg" alt="img"></p>
<p><strong>C. 联合多字段去重</strong></p>
<p>有的记录虽然有主键，但判断是否为重复的记录，需要用其它几个字段来确定，此时用多个字段联合来确定是否有重复记录.</p>
<p><img src="https://gitee.com/tanzicai/drawingbed/raw/master/img/v2-bea0209ec28b15a8c575262910e3d07e_b.jpg" alt="img"></p>
<p>代码说明：</p>
<p><strong>A1</strong>: 导入指定 excel 文件的数据。</p>
<p>A2：同上。</p>
<p>A3：按字段 ‘Customer ID’, ‘Purchase Date’ 合并序表 A1，A2，返回序表 A3。</p>
<p>A4：序表 A3 按 ‘Customer ID’, ‘Purchase Date’ 分组去重。</p>
<p>A5：将结果保存。</p>
<p>当然，也可以根据需要，参考更多的字段进行分组合并，去掉重复记录。</p>
<p><strong>D. 记录级去重</strong></p>
<p>解决要合并的每个文件中的记录本身是不重复的，但合并后可能存在重复记录。</p>
<p><img src="https://gitee.com/tanzicai/drawingbed/raw/master/img/v2-bea0209ec28b15a8c575262910e3d07e_b.jpg" alt="img"></p>
<p>代码说明：</p>
<p><strong>A1</strong>: 导入 excel 文件的数据。</p>
<p>B1：根据字段’Invoice Number’去掉序表 A1中的重复数据。</p>
<p>A2、B2：同上</p>
<p>A3：合并序表 B1，B2 的数据，并去掉重复数据记录返回序表 A3。选项 @u 表示序表成员按顺序合并到一起组成新的序表, 去掉重复的记录。</p>
<p>B3：查看合并后的数据记录数。</p>
<p>merge@u适合对多序表合并处理, 其中序表内部有序且无重复数据。</p>
<h2 id="总结"><a href="#总结" class="headerlink" title="总结"></a>总结</h2><p>使用SPL处理同构/异构excel 多文件合并、分组汇总数据及数据去重时，都是只要把需要合并的字段读成集算器的集合对象就可以了。学会了用这种专业数据处理工具，不仅能合并 Excel 文件, 合并其他文本数据方法也是一致的，再也不用担心合并数据中的多文件、大文件和结构差异问题了。</p>
<h2 id="SPL优势"><a href="#SPL优势" class="headerlink" title="SPL优势"></a>SPL优势</h2><ul>
<li><strong>有库写 SQL，没库写 SPL</strong></li>
</ul>
<p>用Java程序直接汇总计算数据，还是比较累的，代码很长，并且不可复用，很多情况数据也不在数据库里，有了SPL，就能像在Java中用SQL一样了，十分方便。</p>
<ul>
<li><strong>常用无忧，不花钱就能取得终身使用权的入门版</strong></li>
</ul>
<p>如果要分析的数据是一次性或临时性的，润乾集算器每个月都提供免费试用授权，可以循环免费使用。但要和Java应用程序集成起来部署到服务器上长期使用，定期更换试用授权还是比较麻烦，润乾提供了有终身使用权的入门版，解决了这个后顾之忧，获得方式参考 <a href="https://link.zhihu.com/?target=http://c.raqsoft.com.cn/article/1543548311985">如何免费使用润乾集算器？</a></p>
<ul>
<li><strong>技术文档和社区支持</strong></li>
</ul>
<p>官方提供的<a href="https://link.zhihu.com/?target=http://c.raqsoft.com.cn/forward?goto=http://doc.raqsoft.com.cn">集算器技术文档</a>本身就有很多现成的例子，常规问题从文档里都能找到解决方法。如果获得了入门版，不仅能够使用SPL的常规功能，碰到任何问题都可以去<a href="https://link.zhihu.com/?target=http://c.raqsoft.com.cn/">乾学院</a>上去咨询，官方通过该社区对入门版用户提供免费的技术支持。</p>
</article><div class="post-copyright"><div class="post-copyright__author"><span class="post-copyright-meta">文章作者: </span><span class="post-copyright-info"><a href="mailto:undefined">谭自财</a></span></div><div class="post-copyright__type"><span class="post-copyright-meta">文章链接: </span><span class="post-copyright-info"><a href="https://tanzicai.gitee.io/2021/07/28/%E5%9F%BA%E4%BA%8EJava%E8%BF%9B%E8%A1%8Cexcel%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86/">https://tanzicai.gitee.io/2021/07/28/基于Java进行excel数据处理/</a></span></div><div class="post-copyright__notice"><span class="post-copyright-meta">版权声明: </span><span class="post-copyright-info">本博客所有文章除特别声明外，均采用 <a href="https://creativecommons.org/licenses/by-nc-sa/4.0/" target="_blank">CC BY-NC-SA 4.0</a> 许可协议。转载请注明来自 <a href="https://tanzicai.gitee.io" target="_blank">小谭的部落阁</a>！</span></div></div><div class="tag_share"><div class="post-meta__tag-list"><a class="post-meta__tags" href="/tags/excel/">excel</a><a class="post-meta__tags" href="/tags/%E6%96%87%E4%BB%B6%E6%93%8D%E4%BD%9C/">文件操作</a><a class="post-meta__tags" href="/tags/%E6%95%B0%E6%8D%AE%E5%90%88%E5%B9%B6/">数据合并</a><a class="post-meta__tags" href="/tags/R%E8%AF%AD%E8%A8%80/">R语言</a></div><div class="post_share"><div class="social-share" data-image="/img/ERTH.png" data-sites="facebook,twitter,wechat,weibo,qq"></div><link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/social-share.js/dist/css/share.min.css" media="print" onload="this.media='all'"><script src="https://cdn.jsdelivr.net/npm/social-share.js/dist/js/social-share.min.js" defer></script></div></div><nav class="pagination-post" id="pagination"><div class="prev-post pull-left"><a href="/2022/01/17/%E5%81%87%E6%9C%9F%E8%AE%A1%E5%88%92-%E5%B0%8F%E7%A8%8B%E5%BA%8F%E5%BC%80%E5%8F%91%E7%9B%AE%E5%BD%95%E7%BB%93%E6%9E%84/"><img class="prev-cover" src="/img/survivors_v02_5120x2880.png" onerror="onerror=null;src='/img/404.jpg'" alt="cover of previous post"><div class="pagination-info"><div class="label">上一篇</div><div class="prev_info">假期计划-小程序开发目录结构</div></div></a></div><div class="next-post pull-right"><a href="/2021/07/28/%E5%9F%BA%E4%BA%8ER%E8%AF%AD%E8%A8%80%E7%9A%84excel%E5%90%88%E5%B9%B6%E6%93%8D%E4%BD%9C/"><img class="next-cover" src="/img/BRLY.png" onerror="onerror=null;src='/img/404.jpg'" alt="cover of next post"><div class="pagination-info"><div class="label">下一篇</div><div class="next_info">基于R语言的excel文件合成操作</div></div></a></div></nav><div class="relatedPosts"><div class="headline"><i class="fas fa-thumbs-up fa-fw"></i><span> 相关推荐</span></div><div class="relatedPosts-list"><div><a href="/2021/07/28/基于R语言的excel合并操作/" title="基于R语言的excel文件合成操作"><img class="cover" src="/img/BRLY.png" alt="cover"><div class="content is-center"><div class="date"><i class="far fa-calendar-alt fa-fw"></i> 2021-07-28</div><div class="title">基于R语言的excel文件合成操作</div></div></a></div></div></div></div><div class="aside-content" id="aside-content"><div class="card-widget card-info"><div class="card-info-avatar is-center"><img class="avatar-img" src="https://gitee.com/tanzicai/drawingbed/raw/master/img/20210609205810.png" onerror="this.onerror=null;this.src='/img/friend_404.gif'" alt="avatar"/><div class="author-info__name">谭自财</div><div class="author-info__description">你别卷入世俗，我别沉迷初遇</div></div><div class="card-info-data"><div class="card-info-data-item is-center"><a href="/archives/"><div class="headline">文章</div><div class="length-num">35</div></a></div><div class="card-info-data-item is-center"><a href="/tags/"><div class="headline">标签</div><div class="length-num">50</div></a></div><div class="card-info-data-item is-center"><a href="/categories/"><div class="headline">分类</div><div class="length-num">12</div></a></div></div><a class="button--animated" id="card-info-btn" target="_blank" rel="noopener" href="https://github.com/tanzicai"><i class="fab fa-github"></i><span>Follow Me</span></a><div class="card-info-social-icons is-center"><a class="social-icon" href="https://github.com/tanzicai" target="_blank" title="Github"><i class="fab fa-github"></i></a><a class="social-icon" href="https://gitee.com/tanzicai" target="_blank" title="Github"><i class="fab fa-git-square"></i></a><a class="social-icon" href="http://wpa.qq.com/msgrd?v=3&amp;uin=1728561744&amp;site=qq&amp;menu=yes" target="_blank" title="QQ"><i class="fas fa-qq"></i></a><a class="social-icon" href="mailto:1728561744@qq.com" target="_blank" title="Email"><i class="fas fa-envelope"></i></a></div></div><div class="card-widget card-announcement"><div class="item-headline"><i class="fas fa-bullhorn card-announcement-animation"></i><span>公告</span></div><div class="announcement_content">本站正在切换主题测试，如有错误提示，请联系我，谢谢</div></div><div class="sticky_layout"><div class="card-widget" id="card-toc"><div class="item-headline"><i class="fas fa-stream"></i><span>目录</span></div><div class="toc-content"><ol class="toc"><li class="toc-item toc-level-1"><a class="toc-link" href="#Java-%E5%B5%8C%E5%85%A5-SPL-%E8%BD%BB%E6%9D%BE%E5%AE%9E%E7%8E%B0-Excel-%E6%96%87%E4%BB%B6%E5%90%88%E5%B9%B6"><span class="toc-number">1.</span> <span class="toc-text">Java 嵌入 SPL 轻松实现 Excel 文件合并</span></a><ol class="toc-child"><li class="toc-item toc-level-2"><a class="toc-link" href="#SPL%E5%AE%9E%E7%8E%B0"><span class="toc-number">1.1.</span> <span class="toc-text">SPL实现</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#JAVA%E8%B0%83%E7%94%A8"><span class="toc-number">1.2.</span> <span class="toc-text">JAVA调用</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#%E6%8B%93%E5%B1%95%E8%8A%82%E9%80%89"><span class="toc-number">1.3.</span> <span class="toc-text">拓展节选</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#%E6%80%BB%E7%BB%93"><span class="toc-number">1.4.</span> <span class="toc-text">总结</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#SPL%E4%BC%98%E5%8A%BF"><span class="toc-number">1.5.</span> <span class="toc-text">SPL优势</span></a></li></ol></li></ol></div></div><div class="card-widget card-recent-post"><div class="item-headline"><i class="fas fa-history"></i><span>最新文章</span></div><div class="aside-list"><div class="aside-list-item"><a class="thumbnail" href="/2022/02/10/%E5%B8%B8%E7%94%A8%E7%B1%BB/" title="Java常用类"><img src="https://gitee.com/tanzicai/file-pan/raw/master/img/20220209171157.png" onerror="this.onerror=null;this.src='/img/404.jpg'" alt="Java常用类"/></a><div class="content"><a class="title" href="/2022/02/10/%E5%B8%B8%E7%94%A8%E7%B1%BB/" title="Java常用类">Java常用类</a><time datetime="2022-02-10T12:25:00.000Z" title="发表于 2022-02-10 20:25:00">2022-02-10</time></div></div><div class="aside-list-item"><a class="thumbnail" href="/2022/02/09/%E5%BC%82%E5%B8%B8/" title="Java异常"><img src="/img/survivors_v03_5120x2880.png" onerror="this.onerror=null;this.src='/img/404.jpg'" alt="Java异常"/></a><div class="content"><a class="title" href="/2022/02/09/%E5%BC%82%E5%B8%B8/" title="Java异常">Java异常</a><time datetime="2022-02-09T13:25:00.000Z" title="发表于 2022-02-09 21:25:00">2022-02-09</time></div></div><div class="aside-list-item"><a class="thumbnail" href="/2022/02/09/%E9%9D%A2%E5%90%91%E5%AF%B9%E8%B1%A1%E7%BC%96%E7%A8%8B/" title="Java面向对象编程"><img src="/img/CTTN.png" onerror="this.onerror=null;this.src='/img/404.jpg'" alt="Java面向对象编程"/></a><div class="content"><a class="title" href="/2022/02/09/%E9%9D%A2%E5%90%91%E5%AF%B9%E8%B1%A1%E7%BC%96%E7%A8%8B/" title="Java面向对象编程">Java面向对象编程</a><time datetime="2022-02-09T13:25:00.000Z" title="发表于 2022-02-09 21:25:00">2022-02-09</time></div></div><div class="aside-list-item"><a class="thumbnail" href="/2022/02/09/%E6%95%B0%E7%BB%84%E8%AF%A6%E8%A7%A3/" title="Java数组详解"><img src="/img/CNYN.png" onerror="this.onerror=null;this.src='/img/404.jpg'" alt="Java数组详解"/></a><div class="content"><a class="title" href="/2022/02/09/%E6%95%B0%E7%BB%84%E8%AF%A6%E8%A7%A3/" title="Java数组详解">Java数组详解</a><time datetime="2022-02-09T13:25:00.000Z" title="发表于 2022-02-09 21:25:00">2022-02-09</time></div></div><div class="aside-list-item"><a class="thumbnail" href="/2022/02/09/%E6%96%B9%E6%B3%95%E8%AF%A6%E8%A7%A3/" title="Java方法详解"><img src="/img/WHT.png" onerror="this.onerror=null;this.src='/img/404.jpg'" alt="Java方法详解"/></a><div class="content"><a class="title" href="/2022/02/09/%E6%96%B9%E6%B3%95%E8%AF%A6%E8%A7%A3/" title="Java方法详解">Java方法详解</a><time datetime="2022-02-09T12:25:00.000Z" title="发表于 2022-02-09 20:25:00">2022-02-09</time></div></div></div></div></div></div></main><footer id="footer" style="background-image: url('/img/ERTH.png')"><div id="footer-wrap"><div class="copyright">&copy;2020 - 2022 By 谭自财</div><div class="framework-info"><span>框架 </span><a target="_blank" rel="noopener" href="https://hexo.io">Hexo</a><span class="footer-separator">|</span><span>主题 </span><a target="_blank" rel="noopener" href="https://github.com/jerryc127/hexo-theme-butterfly">Butterfly</a></div><div class="footer_custom_text">欢迎进入 <a href="https://tanzicai.gitee.io">小谭的部落阁</a>!</div></div></footer></div><div id="rightside"><div id="rightside-config-hide"><button id="readmode" type="button" title="阅读模式"><i class="fas fa-book-open"></i></button><button id="font-plus" type="button" title="放大字体"><i class="fas fa-plus"></i></button><button id="font-minus" type="button" title="缩小字体"><i class="fas fa-minus"></i></button><button id="translateLink" type="button" title="简繁转换">繁</button><button id="darkmode" type="button" title="浅色和深色模式转换"><i class="fas fa-adjust"></i></button><button id="hide-aside-btn" type="button" title="单栏和双栏切换"><i class="fas fa-arrows-alt-h"></i></button></div><div id="rightside-config-show"><button id="rightside_config" type="button" title="设置"><i class="fas fa-cog fa-spin"></i></button><button class="close" id="mobile-toc-button" type="button" title="目录"><i class="fas fa-list-ul"></i></button><button id="go-up" type="button" title="回到顶部"><i class="fas fa-arrow-up"></i></button></div></div><div><script src="/js/utils.js"></script><script src="/js/main.js"></script><script src="/js/tw_cn.js"></script><script src="https://cdn.jsdelivr.net/npm/instant.page/instantpage.min.js" type="module"></script><script>var preloader = {
  endLoading: () => {
    document.body.style.overflow = 'auto';
    document.getElementById('loading-box').classList.add("loaded")
  },
  initLoading: () => {
    document.body.style.overflow = '';
    document.getElementById('loading-box').classList.remove("loaded")

  }
}
window.addEventListener('load',preloader.endLoading())</script><div class="js-pjax"></div><script id="click-heart" src="https://cdn.jsdelivr.net/npm/butterfly-extsrc@1/dist/click-heart.min.js" async="async" mobile="false"></script><script async data-pjax src="//busuanzi.ibruce.info/busuanzi/2.3/busuanzi.pure.mini.js"></script></div></body></html>